КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

 

ОБЩИЕ СВЕДЕНИЯ


Номер 22-41-04409

НазваниеРоссийско-Германская статистическая аудиология: обработка данных и анализ аудиологического профиля для диагностики и компенсации тугоухости

РуководительМаркелов Олег Александрович, Кандидат технических наук

Организация финансирования, регион Федеральное государственное автономное образовательное учреждение высшего образования "Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В.И. Ульянова (Ленина)", г Санкт-Петербург

Период выполнения при поддержке РНФ 2022 г. - 2024 г. 

Конкурс№54 - Конкурс 2021 года «Проведение фундаментальных научных исследований и поисковых научных исследований международными научными коллективами» (DFG).

Область знания, основной код классификатора 01 - Математика, информатика и науки о системах, 05-225 - Аудиология и патология речи

Ключевые словаСлуховые модели, машинное обучение, статистические модели, аудиология, нарушения слуха, слуховые аппараты

Код ГРНТИ28.29.51


 

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ


Аннотация
Несмотря на то, что нарушение слуха является наиболее распространенным сенсорным заболеванием, оказывающим серьезное негативное воздействие на примерно 18% мирового населения, диагностические и реабилитационные подходы с использованием слуховых устройств все еще ограничены. Например, задача восстановления нормального восприятия речи в повседневной шумовой обстановке все еще не решена, прежде всего из-за разрозненных эмпирических знаний о сниженном восприятии речи и ограниченной индивидуальной пользе слухового аппарата без систематического анализа данных. Текущий проект решает эту проблему статистическим способом, основанным на машинном обучении, который объединяет фундаментальные науки, статистический анализ и клиническую аудиологию независимо от используемого языка тестирования: путем создания легко доступной и расширяемой базы данных аудиологических диагностических мероприятий и применяя специализированные, инвариантные к языку тесты, применяемые к клиническим данным. Будут проанализированы причины и последствия нарушения слуха индивидуальным образом. Эти данные будут использоваться для адаптации слуховых моделей и экспертных систем на основе машинного обучения для поддержки клинической реабилитационной аудиологии. Это позволит предложить систему аудиологической диагностической поддержки и прогнозировать индивидуальную пользу от идеализированного лабораторного «слухового аппарата открытого мастера» (Grimm et al., 2006), а также от собственного устройства пациента, использующего только несколько конкретных аудиологических мер, которые могут быть продемонстрированы для обеспечения максимальной диагностической и прогностической полезности. Такой статистический аудиологический подход приведет к оптимальному выбору и настройке современных слуховых аппаратов. Сопоставимость речевых тестов на русском и немецком языках (которая основана на уже существующем сотрудничестве между Санкт-Петербургом и Ольденбургом) и совместная разработка и применение передовых процедур в реабилитационной аудиологии укрепят связи между Германией и Россией в практической сфере актуальной области речевого общения.

Ожидаемые результаты
Будет предложена новая, теоретически обоснованная методика подбора и настройки слуховых аппаратов. Основная идея состоит в том, чтобы включить больше аудиологических результатов для подбора и настройки слухового аппарата. Будут оцениваться: 1) технология понижения частоты и быстро действующая компрессия для пациентов с круто нисходящими профилями аудиограммы, 2) направленное слушание и медленная компрессия для пациентов с когнитивными нарушениями, 3) индивидуализированное шумоподавление: увеличение степени шумоподавления у пациентов с выраженным надпороговым дефицитом для улучшения отношения сигнал-шум, 4) направленное слушание для пациентов с центральными слуховыми расстройствами; как правило, у таких слушателей возникают проблемы с разборчивостью речи в шуме, а направленный слух улучшает восприятие целевого сигнала и повышает эффективность использования слухового аппарата.


 

ОТЧЁТНЫЕ МАТЕРИАЛЫ


Аннотация результатов, полученных в 2022 году
На основании собранной и сформированной базы данных пациентов с тугоухостью и слушателей с нормальным слухом, прошедших комплексное аудиологическое обследование, для дальнейшего применения статистического анализа и методов машинного обучения была сформирована обучающая выборка. Выборка представляет собой набор записей с данными о пациентах с тугоухостью (общие сведения, результаты аудиологического тестирования, сведения об используемых слуховых аппаратов и оценке их эффективности), а также общие сведения и результаты аудиологического тестирования для слушателей с нормальным слухом. Суммарный объем базы, из которой составлялась обучающая выборка, составляет 488 пациентов с тугоухостью. Выборка была дополнена результатами измерения разборчивости фраз в шуме посредством русского матриксного теста RuMatrix и результатами обследования слушателей с нормальным слухом. Также были добавлены результаты оценки эффективности слухопротезирования посредством субъективных тестов – анкеты COSI (Client Oriented Scale of Improvement – Шкала улучшения, ориентированная на клиента) и специально разработанной шкалы, в которой результат использования СА оценивался в баллах от 1 (очень плохо) до 5 (отлично) для пяти ситуаций слушания; речевой аудиометрии в свободном звуковом поле (тест RuMatrix, оценка разборчивости одно- и разносложных слов в тишине и в шуме). Данные аудиологических тестов для внесения в базу были предобработаны с использованием методов обработки сигналов предложенных в ходе выполнения проекта [Rao, K.A., et al.: Design of low complexity parallel polyphase finite impulse response filter using coefficient symmetry. IET Circuits Devices Syst. 1– 9 (2022). https://doi.org/10.1049/cds2.12134, Fedoseev P, Zhukov K, Kaplun D, Vybornov N, Andreev V. Parallelization of Runge–Kutta Methods for Hardware Implementation. Computation. 2022; 10(12):215. https://doi.org/10.3390/computation10120215]. Для решения проблемы отсутствия достаточного количества обучающих данных при построении интеллектуальных систем в аудиологии предлагается использовать Transfer Learning: - с дообучением с помощью подходов по обучению на малых выборках - finetuning, one-few shot learning, исключающих необходимость полного «переобучения» machine learning-модели и позволяющих получить приемлемое качество при недостатке данных для обучения [Lungu I. A, Yuhuang Hu Y., Liu S. Multi-Resolution Siamese Networks for One-Shot Learning / 2nd IEEE International Conference on Artificial Intelligence Circuits and Systems (AICAS). - 2020], few-shot [Wang Y., Yao Q., Kwok K., Ni L. M. Generalizing from a Few Examples: A Survey on Few-Shot Learning // ACM Computing Surveys. - 2020. - C. 1-34]. - с использованием линейных дискриминантных корректоров и ансамблей линейных дискриминантных корректоров. Такие корректоры позволяют исправлять ошибки системы, не изменяя вывод на тех примерах, где система работает без ошибок. Таким образом, их использование теоретически может позволит добавлять новые классы без переобучения сети ([van Y. Tyukin, Alexander N. Gorban, Alistair A. McEwan, Sepehr Meshkinfamfard, Lixin Tang, Blessing of dimensionality at the edge and geometry of few-shot learning, Information Sciences, Volume 564, 2021, Pages 124-143, ISSN 0020-0255, https://doi.org/10.1016/j.ins.2021.01.022]. Для построения распределенной интеллектуальной системы предлагается использовать концепцию федеративного обучения, которая позволяет выполнять обучение на разнородных данных, распределенных между разными источниками без использования общего вычислительного кластера, выполняющего анализ, и обмена данными между источниками. В настоящее время предложены различные архитектуры построения систем федеративного обучения [Kholod I, Yanaki E, Fomichev D, Shalugin E, Novikova E, Filippov E, Nordlund M. Open-Source Federated Learning Frameworks for IoT: A Comparative Review and Analysis. Sensors. 2021; 21(1):167. DOI: 10.3390/s21010167], отличающиеся как распределением функций агрегирования параметров локально обученных моделей между участниками обучения, так и требованиями к вычислительным ресурсам участников. Кроме того, системы федеративного обучения отличаются способом распределения анализируемых данных. Выделяют горизонтальное распределение данных, когда на узлах находятся данные с общим множеством атрибутов, и вертикальное распределение данных, когда данные описывают одно событие, но не имеют общих атрибутов. Последнее свойство видится особенно полезным при разработке распределенных интеллектуальных систем для решения различных задач в медицине, когда данные берутся из разных источников.

 

Публикации

1. И.Г. Арустамян, О.А. Станчева, С.А, Карпищенко, Н.Б. Целобанов, Г.А. Ефименко, Д.И. Каплун A Software Package «Apnea» for the Diagnosis and Treatment of Obstructive Sleep Apnea Proceedings of the 2022 Conference of Russian Young Researchers in Electrical and Electronic Engineering, ElConRus 2022, Pages 1462 - 1465, 2022 Conference of Russian Young Researchers in Electrical and Electronic Engineering, ElConRus 2022. Code 178853 (год публикации - 2022) https://doi.org/10.1109/ElConRus54750.2022.9755455

2. Рао К.А., Кумар А., Каплун Д.И., Патель С.К., Пурохит Н. Design of low complexity parallel polyphase finite impulse response filter using coefficient symmetry IET Circuits, Devices & Systems, IET Circuits Devices Syst. 1–9 (2022) (год публикации - 2022) https://doi.org/10.1049/cds2.12134

3. Федосеев П., Жуков К., Каплун Д., Выборнов Н., Андреев В. Parallelization of Runge–Kutta Methods for Hardware Implementation Computation, т. 10, вsg. 12, 215, с. 1-15 (год публикации - 2022) https://doi.org/10.3390/computation10120215

4. Маркелов О.А., Каплун Д.И., Бобошко М.Ю., Бердникова И.П., Мальцева Н. В., Жилинская Е.В. Perception of the target signal in conditions of contralateral interference in listeners with normal hearing and sensorineural hearing loss European Journal of Clinical Investigation, Vol. 52 Suppl. 1, p. 98, 56ASM-0122 (год публикации - 2022) https://doi.org/10.1111/eci.13796.56asm0122

5. - Ученые предложили способ определения индивидуального профиля слуха годнауки.рф, - (год публикации - )


Аннотация результатов, полученных в 2023 году
Предложен подход к количественному оцениванию когнитивной составляющей в результатах тестирования состояния сенсорной системы человека на основании анализа остатков от регрессии наблюдаемых значений показателей тестов на значения, прогнозируемые по данным контроля функционального состояния органа восприятия с помощью байесовской сети. При построении байесовской сети независимыми переменными (предикторами) являются результаты тестов тональной пороговой аудиометрии (ТПА). Результаты тестов речевой аудиометрии, связанные с распознаванием речи, с одной стороны, объективно зависят от результатов тестов ТПА, но в то же время отражают возможности механизма когнитивной компенсации, что может быть использовано для диагностики нейродегенеративных изменений, в том числе на ранней стадии. Зависимыми переменными являются результаты тестов по распознаванию речи. Тем самым определяются отношения «Родитель – потомок», необходимые для построения направленного графа. Далее производится расчет коэффициентов корреляции Спирмена между исследуемыми параметрами и переход к частным корреляциям, необходимым для прогнозирования состояния зависимых переменных. При построении графа на основании используемой корреляционной матрицы полных или частных корреляций выбирается порог, ниже которого корреляционные связи считаются несущественными. По усмотрению исследователя, изучающего взаимосвязь переменных, этот порог может быть установлен равным нулю. В этом случае все связи между переменными считаются существенными. Для создания результирующего графа, представляющего структуру байесовской сети, из полученной модели должны быть удалены связи, приводящие к наличию петель графа. Для этого повторяется процедура, состоящая в нахождении любого существующего цикла и исключении в нем самого «слабого» звена (ребра с наименьшим значением коэффициента корреляции). Процедура повторяется до тех пор, пока результирующий граф не станет полностью ацикличным. Степень выраженности когнитивной компенсации, соответствующая индивидуальным характеристикам конкретного пациента, количественно соответствует величине остатка от регрессии наблюдаемых значений результатов тестов речевой аудиометрии на прогнозируемые по ТПА значения. Положительные остаточные значения указывают на то, что результат теста для конкретного пациента выше, чем ожидалось, исходя исключительно из результатов тестов тональной пороговой аудиометрии. Следовательно, роль когнитивной компенсации у такого пациента выше среднего по изучаемой когорте значения. Отрицательные остатки указывают на то, что результат теста для конкретного пациента ниже, чем ожидалось, исходя исключительно тестов ТПА, что свидетельствует о снижении вклада когнитивной составляющей в распознавание речи по сравнению со средним значением в изучаемой когорте. Применение предложенного подхода к результатам речевой аудиометрии позволило количественно оценить вклад когнитивной компенсации в распознавание речи путем сопоставления с результатами тональной пороговой аудиометрии. Результаты регистрации слуховых вызванных потенциалов в подгруппе нормально слышащих лиц показали у всех слушателей нормальные варианты КСВП и ДСВП. Латентные периоды и межпиковые интервалы I, III и V волн КСВП соответствовали нормативным показателям, пороги регистрации во всех случаях соответствовали норме (менее 30дБ нПС). Во всей подгруппе были зарегистрированы морфологически нормальные варианты ДСВП с наличием четырех волн P1, N1, P2, N2. При проведении серии повторных записей была достигнута хорошая повторяемость ответов. Латентные периоды соответствовали нормальным значениям. Разница между порогами ДСВП и тональными порогами слуха составила 0-10дБ. В подгруппе слабослышащих пациентов при регистрации стволомозговых вызванных потенциалов для всех пациентов был получен вариант с нормальной или близкой к нормальной морфологией ответа (у всех пациентов на записи присутствовали пики I, III, V). При записи ДСВП морфологически нормальный вариант ответа был зарегистрирован у 70%. У 30% отмечалось или отсутствие компонентов ДСВП (чаще всего пика P1), или увеличение латентных периодов. У пациентов с измененной морфологией ответа отмечалась низкая повторяемость результатов ДСВП в серии измерений. Значения ЛП пиков P1, N1, P2 совпадают с нормальными значениями для тех пациентов, у которых регистрировался морфологически нормальный ответ. Разница между порогом визуальной детекции ДСВП и тональным порогом составила от 0 до 15дБ, со средним значением 5,6±5,3 дБ, что совпадает с литературными данными. При сравнении психоакустических данных и результатов регистрации ДСВП получено, что пациенты с признаками ЦСР и невысокими результатами слухопротезирования имели видоизмененный комплекс P1, N1, P2, N2. Для проведения статистической обработки результатов с комплексным сравнением психоакустических и электрофизиологических данных у слабослышащих пациентов в подгруппах с низкими и высокими результатами речевой разборчивости, а также в подгруппах с низкой и высокой эффективностью слухопротезирования требуется увеличение выборки пациентов. Для выбора адекватной программы реабилитации был рассчитан аудиологический профиль для 355 слабослышащих пациентов. В этот профиль были включены данные диагностического обследования, а также результаты оценки эффективности слухопротезирования. Контрольную группу составили 20 лиц с нормальными порогами слуха. На основании установленных критериев диагностики центральные слуховые расстройства (ЦСР) были выявлены у 55% пользователей слуховых аппаратов (СА) и 15% лиц с нормальным слухом. Обнаружена значимая корреляция между наличием ЦСР и степенью потери слуха (r=0,85, p<0,05), отрицательная корреляция между результатами теста по выявлению когнитивной дисфункции MoCA и возрастом (r=-0,64, p<0,05). По результатам речевого тестирования в свободном звуковом поле использование слухового аппарата (СА) в тишине оказалось высоко эффективным у 89,2%, а в шуме – у 54,7% пациентов. Показатели теста RUMatrix в тишине в СА коррелировали с результатами анкетирования COSI (V=0,52). Доказана более высокая эффективность слухопротезирования у пациентов без ЦСР по сравнению с пациентами с ЦСР, которым были рекомендованы занятия по программе слуховой тренировки. Подводя итоги, полноценная характеристика нарушений слуха и эффективный выбор дополнительных параметров при коррекции тугоухости требуют проведения большого числа речевых и неречевых тестов. Более точно определить существующий слуховой дефицит позволит построение индивидуального слухового профиля пациента с применением корреляционного анализа.

 

Публикации

1. А. В. Гаврилов, И. И. Шпаковская, Д. И. Каплун, О. А. Маркелов, М. Ю. Бобошко, Е. С. Гарбарук Development of a Software Application for Hearing Assessment 2023 V International Conference on Control in Technical Systems (CTS), 2023 V International Conference on Control in Technical Systems (CTS). – IEEE, 2023. – С. 202-205. (год публикации - 2023) https://doi.org/10.1109/CTS59431.2023.10288765

2. М.Ю. Бобошко, Е.С. Гарбарук, Л.Е. Голованова, Н.В. Мальцева, И.П. Бердникова, О.А. Маркелов, И.И. Шпаковская, С.А. Романов, Д.И. Каплун Analysis of hearing aids application in elderly patients Advances in Gerontology, Volume 36, Issue 2, Pages 265 - 273 (год публикации - 2023) https://doi.org/10.34922/AE.2023.36.2.016

3. С. Малакар, С. Сэн, С. Романов, Д. Каплун, Р. Саркар Role of transfer functions in PSO to select diagnostic attributes for chronic disease prediction: An experimental study Journal of King Saud University – Computer and Information Sciences, Volume 35, Issue 9, October 2023, 101757 (год публикации - 2023) https://doi.org/10.1016/j.jksuci.2023.101757

4. Бобошко М.Ю., Гарбарук Е.С., Жилинская Е.В., Маркелов О.А. Диагностика центральных слуховых расстройств у пользователей слуховых аппаратов. Материалы X Национального конгресса аудиологов и XIV Международного симпозиума «Современные проблемы физиологии и патологии слуха», Материалы X Национального конгресса аудиологов и XIV Международного симпозиума «Современные проблемы физиологии и патологии слуха», 2023, стр. 43-44 (год публикации - 2023)

5. Туфатулин Г., Бобошко М., Гарбарук Е., Жилинская Е., Маркелов О. Audiological profile analysis of the elderly hearing aid users Abstract book of the 16th Congress of the European Federation of Audiology Societies, Abstract book of the 16th Congress of the European Federation of Audiology Societies. Р. 263. (год публикации - 2023)